59. 协方差分析

# 注：sale_points.csv数据文件本地没有，但平台已经内置
# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
sale_points-pd.read_csv('sale_points.csv')  # 从CSV文件读取数据
sale points.head()  # 查看sale points前5行数据

# 注：相关分析sales.csv数据文件本地没有，但平台已经内置
# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
#任务一
import pandas as pd
import matplotlib.pyplot as plt  # 导入Matplotlib绑图库
import numpy as np  # 导入NumPy数值计算库
# 读取数据
data = pd.read_csv('相关分析sales.csv')
# 计算皮尔逊相关系数
corr =
# 计算相关性矩阵
corr_matrix = data.corr()
# 绘制热力图
fig, ax = plt.subplots()
im = ax.imshow(corr_matrix, cmap='YlGnBu')  # 显示热力图矩阵
# 显示相关系数的值
for i in range(corr_matrix.shape[0]):
    for j in range(corr_matrix.shape[1]):  # 遍历range(corr_matrix.shape[1])中的每个j
                text = ax.text(j, i, round(corr_matrix.iloc[i, j],2),  # 按位置索引提取显示相关系数的值
                       ha="center", va="center", color="black")  # 设置标注文本的水平和垂直对齐方式
# 设置坐标轴标签和标题
ax.set_xticks(np.arange(len(corr_matrix.columns)))
ax.set_yticks(np.arange(len(corr_matrix.columns)))  # 设置Y轴刻度标签
ax.set_xticklabels(corr_matrix.columns)  # 设置X轴刻度标签
ax.set_yticklabels(corr_matrix.columns)  # 设置Y轴刻度标签
ax.set_title("Correlation Heatmap")  # 设置图表标题
# 在图形旁添加颜色条
cbar = ax.figure.colorbar(im, ax=ax)
# 显示图形
plt.savefig("热力图.png")
# 输出结果
print('Pearson correlation coefficient: ', corr)
if abs(corr) >= 0.7:  # 条件判断：abs(corr) >= 0.7
    print('存在显著的线性相关性')  # 输出存在显著的线性相关性
else:  # 不满足以上条件时
    print('不存在显著的线性相关性')  # 输出不存在显著的线性相关性
    

#任务二
import numpy as np
from scipy import stats  # 导入SciPy科学计算库
import pandas as pd  # 导入Pandas数据分析库
import statsmodels.api as sm  # 导入统计建模库
import statsmodels.formula.api as smf  # 导入统计建模库
import matplotlib.pyplot as plt  # 导入Matplotlib绑图库
from statsmodels.stats.multicomp import pairwise_tukeyhsd  # 导入统计建模库
from statsmodels.graphics.api import interaction_plot  # 导入统计建模库
from matplotlib.font_manager import FontProperties  # 导入Matplotlib库
myfont=  # 设置中文字体属性
 
# 从CSV文件读取数据存入sale_points
sale_points = pd.read_csv(u'https://huoran.oss-cn-shenzhen.aliyuncs.com/20221116/csv/1592817699758039040.csv',encoding = "gbk")
 
sale_points['market'] = sale_points['market'].astype('category')  # 转换数据类型
# 定义列表sale_points['market'].cat.categories
sale_points['market'].cat.categories=['market 1', 'market 2', 'market 3']
 
sale_points['warranty'] = sale_points['warranty'].astype('category')  # 转换数据类型
# 定义列表sale_points['warranty'].cat.categories
sale_points['warranty'].cat.categories=['1 years', '3 years']
 
print(sale_points.head())  # 输出前几行数据
 
formula = 'sales ~ points + C(market) * C(warranty)'  # 定义模型公式：sales ~ points + C(market) * C(warranty)
sale_points_anova_cov_est = smf.ols(formula, data = sale_points).fit() # dc_sales_est 是一个模型对象
print(sale_points_anova_cov_est.summary())  # 输出合计值

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 创建多资产收益率数据（模拟500个交易日）
np.random.seed(42)
n_days = 500

# 各资产的期望日收益率
mean_returns = [0.001, 0.0008, 0.0012, 0.0005]

# 设定真实的协方差矩阵
cov_matrix_true = np.array([
    [0.0004, 0.0002, 0.00015, 0.0001],
    [0.0002, 0.0003, 0.0001, 0.00005],
    [0.00015, 0.0001, 0.00035, 0.00008],
    [0.0001, 0.00005, 0.00008, 0.0002]
])

# 生成多元正态分布数据
returns = np.random.multivariate_normal(mean_returns, cov_matrix_true, n_days)

# 转换为DataFrame
assets = ['贵州茅台', '五粮液', '招商银行', '中国平安']
df_returns = pd.DataFrame(returns, columns=assets)

print('收益率数据(前10行):')
print(df_returns.head(10))

# 计算协方差矩阵
cov_matrix = df_returns.cov()
print('协方差矩阵:')
print(cov_matrix.round(6))

# 计算Pearson相关系数矩阵
corr_matrix = df_returns.corr()
print('\n相关系数矩阵:')
print(corr_matrix.round(4))

# 提取上三角矩阵（排除对角线），避免重复
mask = np.triu(np.ones_like(corr_matrix, dtype=bool), k=1)
corr_upper = corr_matrix.where(mask)

# 找最大和最小相关系数
max_corr = corr_upper.max().max()
min_corr = corr_upper.min().min()
max_pair = corr_upper.stack().idxmax()
min_pair = corr_upper.stack().idxmin()

print(f'最高相关性: {max_pair} = {max_corr:.4f}')
print(f'最低相关性: {min_pair} = {min_corr:.4f}')

max_sharpe_idx = (df_portfolios['收益率'] / df_portfolios['风险(标准差)']).idxmax()
optimal_weights = weights_list[max_sharpe_idx]

print('最优组合权重(最大夏普比率):')
for asset, weight in zip(assets_list, optimal_weights):
    print(f'{asset}: {weight:.2%}')

print('相关系数统计:')
print(f'均值: {rolling_corr.mean():.4f}')
print(f'标准差: {rolling_corr.std():.4f}')
print(f'最大值: {rolling_corr.max():.4f}')
print(f'最小值: {rolling_corr.min():.4f}')

# 识别相关性显著下降的时期
threshold = rolling_corr.mean() - 2 * rolling_corr.std()
low_corr_periods = rolling_corr[rolling_corr < threshold]
print(f'\n相关性异常低的时期({len(low_corr_periods)}天):')
print(low_corr_periods.head())

high_corr_pairs = []
for i in range(n_industries):
    for j in range(i+1, n_industries):
        corr_val = industry_corr.iloc[i, j]
        if abs(corr_val) > 0.5:
            high_corr_pairs.append((industries_network[i], industries_network[j], corr_val))

print('高度相关行业对(|ρ| > 0.5):')
for pair in sorted(high_corr_pairs, key=lambda x: abs(x[2]), reverse=True):
    print(f'{pair[0]} - {pair[1]}: {pair[2]:.2f}')

from scipy.stats import pearsonr
from sklearn.linear_model import LinearRegression

np.random.seed(42)
n = 500

# 构造三变量数据
market = np.random.normal(0.001, 0.02, n)
industry_factor = np.random.normal(0, 0.01, n)
stock = 0.8 * market + 0.5 * industry_factor + np.random.normal(0, 0.015, n)

df_partial = pd.DataFrame({
    '市场': market,
    '个股': stock,
    '行业因子': industry_factor
})

# 简单相关系数
corr_market_stock = df_partial['市场'].corr(df_partial['个股'])
corr_industry_stock = df_partial['行业因子'].corr(df_partial['个股'])

print('简单相关系数:')
print(f'市场-个股: {corr_market_stock:.4f}')
print(f'行业因子-个股: {corr_industry_stock:.4f}')

# 个股对行业因子回归，取残差
model_stock = LinearRegression().fit(
    df_partial[['行业因子']], df_partial['个股']
)
residual_stock = df_partial['个股'] - model_stock.predict(df_partial[['行业因子']])

# 市场对行业因子回归，取残差
model_market = LinearRegression().fit(
    df_partial[['行业因子']], df_partial['市场']
)
residual_market = df_partial['市场'] - model_market.predict(df_partial[['行业因子']])

# 偏相关系数 = 残差的相关系数
partial_corr = np.corrcoef(residual_market, residual_stock)[0, 1]

print(f'偏相关系数(控制行业因子):')
print(f'市场-个股: {partial_corr:.4f}')
print(f'解释: 剔除行业影响后，市场与个股的真实相关性')